Mutual information based registration of multimodal stereo videos for person tracking

Research presented in this paper deals with the systematic examination, development, and evaluation of a novel multimodal registration approach that can perform accurately and robustly for relatively close range surveillance applications. An analysis of multimodal image registration gives insight into the limitations of assumptions made in current approaches and motivates the methodology of the developed algorithm. Using calibrated stereo imagery, we employ maximization of mutual information in sliding correspondence windows that inform a disparity voting algorithm to demonstrate successful registration of objects in color and thermal imagery. Extensive evaluation of scenes with multiple objects at different depths and levels of occlusion shows high rates of successful registration. Ground truth experiments demonstrate the utility of the disparity voting techniques for multimodal registration by yielding qualitative and quantitative results that outperform approaches that do not consider occlusions. A basic framework for multimodal stereo tracking is investigated and promising experimental studies show the viability of using registration disparity estimates as a tracking feature.     

Background-subtraction using contour-based fusion of thermal and visible imagery

We present a new background-subtraction technique fusing contours from thermal and visible imagery for persistent object detection in urban settings. Statistical background-subtraction in the thermal domain is used to identify the initial regions-of-interest. Color and intensity information are used within these areas to obtain the corresponding regions-of-interest in the visible domain. Within each region, input and background gradient information are combined to form a Contour Saliency Map. The binary contour fragments, obtained from corresponding Contour Saliency Maps, are then fused into a single image. An A^* path-constrained search along watershed boundaries of the regions-of-interest is used to complete and close any broken segments in the fused contour image. Lastly, the contour image is flood-filled to produce silhouettes. Results of our approach are evaluated quantitatively and compared with other low- and high-level fusion techniques using manually segmented data.     

独立学院创新“寝室联系员负责制”管理模式及其价值

根据自身发展的特点和学生的具体情况,独立学院创新学生管理模式,引入＂寝室联系员负责制＂管理机制,通过三个管理层,四大制度,充分调动学生工作积极性,发挥学生党员的先进性和学生骨干的模范带头作用,发挥其在思想建设、学风建设、学生管理等各方面的桥梁作用,推动学生党员、学生骨干和寝室成员共同进步,推动独立学院教学质量提高和人才培养,促进和谐校园建设。     

利用局部监督的跨模态行人重识别研究

跨模态行人重识别技术旨在从非重叠视域不同模态的摄像头捕获的行人图像中,识别出特定行人,行人图像间存在巨大的跨模态差异以及模态内部差异,导致识别率不高。为此,提出了一种利用局部监督的跨模态行人重识别方法(LSN)。首先将可见光图像转换成与红外图像更为接近的灰度图像,在图像层面缓解跨模态的差异,并使用共享参数的双流网络,提取具有判别性的共享特征,在特征层面缓解跨模态差异;其次,设计了局部监督网络,增强了对背景、遮挡等噪声的鲁棒性,缓解了模态内部差异;最后,设计了跨模态分组损失、联合身份损失对网络进行约束。实验结果显示,在SYSU-MM01数据集上,评价指标rank-1和mAP分别达到了53.31%、50.88%;在RegDB数据集上,达到了73.51%、68.55%,实验结果优于同类方法,验证了该方法的有效性和先进性。     

生物特征识别学科发展报告

从手机解锁、小区门禁到餐厅吃饭、超市收银,再到高铁进站、机场安检以及医院看病,人脸、虹膜和指纹等生物特征已成为人们进入万物互联世界的数字身份证。生物特征识别赋予机器自动探测、捕获、处理、分析和识别数字化生理或行为信号的高级智能,是一个典型而又复杂的模式识别问题,一直处于人工智能技术发展前沿,在新一代人工智能规划、“互联网+”行动计划等国家战略中具有重要地位。由于生物特征识别涉及公众利益攸关的隐私、道德和法律等问题,近期也引起了广泛的社会关注。本文系统综述了生物特征识别学科发展现状、新兴方向、存在问题和可行思路,深入梳理了人脸、虹膜、指纹、掌纹、静脉、声纹、步态、行人重识别以及多模态融合识别的研究进展,以人脸为例重点介绍了生物特征识别领域近些年受到关注的新方向——对抗攻击和防御、深度伪造和反伪造,最后剖析总结了生物特征识别领域存在的3大挑战问题——“感知盲区”、“决策误区”和“安全红区”。本文认为必须变革和创新生物特征的传感、认知和安全机制,才有可能取得复杂场景生物识别学术研究和技术应用的根本性突破,破除现有生物识别技术的弊端,朝着“可感”、“可知”和“可信”的新一代生物特征识别总体目标发展。     

基于显著性多尺度特征协作融合的行人重识别方法

由于背景信息复杂、遮挡等因素的影响,现有基于局部特征的行人重识别方法所提取的特征不具有辨别力和鲁棒性,从而导致重识别精度较低,针对该问题,提出一种基于显著性检测与多尺度特征协作融合的SMC-ReID方法。利用显著性检测提取行人中具有判别力的特征区域,融合显著性特征与全局特征并完成不同尺度的切块,将上述不同尺度的特征进行协作融合以保证特征切块后的连续性,根据全局特征和局部特征的差异性联合3种损失函数进行学习。在推理阶段,将各个尺度的特征降低到同一维度并融合成新的特征向量,以实现相似性度量。在行人重识别公开数据集Market1501、DukeMTMC-reID和CUHK03上进行实验,结果表明,SMC-ReID方法所提取的特征具有较强的可区分性和鲁棒性,识别准确率优于SVDNet和PSE+ECN等方法。     

近邻中心迭代策略的单标注视频行人重识别

为解决视频行人重识别数据集标注困难的问题,提出了基于单标注样本视频行人重识别的近邻中心迭代策略.该策略逐步利用伪标签视频片段迭代更新网络结构,以获得最佳的模型.针对预测无标签视频片段的伪标签准确率低的问题,提出了一种标签评估方法：每次训练后,将所选取的伪标签视频片段和有标签视频片段特征中每个类的中心点作为下一次训练中预测伪标签的度量中心点;同时提出基于交叉熵损失和在线实例匹配损失的损失控制策略,使得训练过程更加稳定,无标签数据的伪标签预测准确率更高.在MARS,DukeMTMC-VideoReID这两个大型数据集上的实验验证了该方法相比于最新的先进方法,在性能上得到非常好的提升.     

基于多尺度特征融合的行人重识别方法

针对行人重识别任务在特征提取时缺乏对行人特征尺度变化的考虑,导致其易受环境影响而具有低行人重识别准确率的问题,提出了一种基于多尺度特征融合的行人重识别方法。首先,在网络浅层通过混合池化操作来提取多尺度的行人特征,从而帮助网络提升特征提取能力;然后,在残差块内添加条形池化操作以分别提取水平和竖直方向的远程上下文信息,从而避免无关区域的干扰;最后,在残差网络之后利用不同尺度的空洞卷积进一步保留多尺度的特征,从而帮助模型灵活有效地解析场景结构。实验结果表明,在Market-1501数据集上,所提方法的Rank1达到95.9%,平均精度均值（mAP）为88.5%;在DukeMTMC-reID数据集上,该方法的Rank1达到90.1%,mAP为80.3%。可见所提方法能够较好地保留行人特征信息,从而提高行人重识别任务准确率。     

基于联合损失胶囊网络的换衣行人重识别

目前的行人重识别（Re-ID）研究主要集中在短时间情形,即一个人的衣着不太可能发生改变的情况。然而现实中更常见的是长时间的情况,这时一个人有很大的机会更换衣服,Re-ID模型应该考虑这种情况。为此,研究了一种基于联合损失胶囊网络的换衣行人重识别方法。所提方法基于换衣行人重识别胶囊网络ReIDCaps,使用与传统的标量神经元相比包含更多信息的矢量胶囊,用其长度表示行人身份信息,用其方向表示行人衣着信息;采用软嵌入注意力（SEA）防止模型过拟合;使用特征稀疏表示（FSR）机制提取具有判别性的特征;增加标签平滑正则化交叉熵损失与Circle Loss的联合损失以提高模型的泛化能力和鲁棒性。在三个换衣行人重识别数据集Celeb-reID、Celeb-reID-light和NKUP上进行实验,实验结果表明所提方法与目前已有的Re-ID方法相比具有一定优势。     

结合域间与域内变化的跨域行人重识别算法

针对单域训练的行人重识别模型迁移到另一个域内测试时性能巨大下降的问题,提出一种结合域间与域内变化的跨域行人重识别算法。采用PR策略将行人特征图进行分区处理,提高模型泛化能力。针对域间变化,引入域间姿势不变性,缩小源域和目标域行人的姿势差距。针对域内变化,引入域内姿势不变性、样本不变性、邻域不变性和相机风格不变性,扩大不同行人之间的距离,缩小相同行人之间的距离。实验表明,PR策略和5个不变性能有效地增强跨域行人重识别中的域自适应性,与只注重域间变化或域内变化的算法相比,其识别精度得到有效提升。